El equipo de Qwen anunció recientemente la publicación de código abierto de su nuevo modelo de razonamiento multimodal, QVQ, lo que representa un paso importante en la capacidad de la inteligencia artificial para comprender imágenes y resolver problemas complejos. Este modelo se basa en Qwen2-VL-72B y tiene como objetivo mejorar la capacidad de razonamiento de la IA mediante la combinación de información lingüística y visual. En la evaluación MMMU, QVQ obtuvo una alta puntuación de 70.3, y mostró una mejora significativa en el rendimiento en varias pruebas de referencia relacionadas con las matemáticas en comparación con Qwen2-VL-72B-Instruct.

El 18 de diciembre, en la conferencia Volcano Engine FORCE, el presidente de Volcano Engine, Tan Dai, presentó el nuevo modelo de comprensión visual Doubao. Este modelo, al procesar simultáneamente información textual e imágenes, proporciona respuestas más precisas. El nuevo modelo destaca en la identificación, comprensión y capacidad de razonamiento del contenido, y cuenta con una capacidad de descripción visual más detallada, ofreciendo a los usuarios empresariales una mayor capacidad de procesamiento inteligente. Tan Dai reveló en la conferencia que el modelo de comprensión visual Doubao no solo ha logrado un avance significativo en tecnología, sino que también ha reducido considerablemente el precio.

Una investigación reciente de la Universidad Técnica de Darmstadt, Alemania, revela un fenómeno preocupante: incluso los modelos de imágenes de IA más avanzados cometen errores significativos en tareas simples de razonamiento visual. Este hallazgo plantea nuevas consideraciones sobre los estándares de evaluación de la capacidad visual de la IA. El equipo de investigación utilizó los problemas de Bongard, diseñados por el científico ruso Michail Bongard, como herramienta de prueba. Estos rompecabezas visuales consisten en 12 imágenes simples, divididas en dos grupos, que requieren identificar la regla que diferencia a los grupos.

Microsoft lanza Phi-3.5-vision, un modelo de IA ligero y multimodal de código abierto, diseñado para procesar entradas de texto y visuales, con soporte para una longitud de contexto de 128K. Este modelo es adecuado para entornos con recursos limitados y ofrece funciones como comprensión de imágenes, OCR, análisis de gráficos, y resumen de múltiples imágenes, mostrando un rendimiento y una latencia excepcionales. Consta de 4.200 millones de parámetros y se ha entrenado con datos de alta calidad para garantizar el rendimiento y la privacidad. Incluye tres modelos: IA ligera, experto mixto y modelo multimodal, todos ellos mostrando un rendimiento excelente en las pruebas de referencia de procesamiento de imágenes y vídeo.